在人工智慧應用中,向量檢索扮演著連結查詢與知識的關鍵角色,其中的核心挑戰都是如何在龐大的資料中快速找到相關內容。傳統的暴力搜尋雖然能保證精確,計算成本太高,所以出現 ANN(Approximate Nearest Neighbor, 近似最近鄰搜尋) 技術:透過近似方法,在保持高召回率的前提下,將檢索速度從數秒縮短至毫秒級。除了需要依賴索引結構的設計,還必須結合向量壓縮與量化技術,才能同時滿足速度、精準與資源利用率。
在向量檢索中,完整的 ANN 系統通常包含兩大區域
ANN 的加速來自於索引。它的目標是避免對資料庫中的每一筆向量進行計算,而是透過快速鎖定一小部分集合。
其中最具代表性的演算法包括:
除了縮小搜尋範圍,當資料規模達到數十億筆時,即使候選集合只有數萬個向量,計算與儲存的成本仍然高昂,這時就需要向量壓縮與量化。
精確搜尋的原理非常直接:對於每一個查詢向量,逐一計算它與資料庫中所有向量的距離(例如: 餘弦相似度、歐式距離或內積),再從中找出最近的 K 個。保證完全正確,但速度極慢
但ANN精度略低於精確搜尋,卻能換來百倍以上的效能提升,對實務應用已足夠。